بهینه سازی مخزن در شبکه ی عصبی حالت انعکاسی

شبکه های عصبی مصنوعی با توانایی قابل توجه خود در استنتاج نتایج از داده های پیچیده می توانند در استخراج ویژگی ها و شناسایی الگوهای مختلفی که برای انسان ها و کامپیوتر شناسایی آنها بسیار دشوار است استفاده شوند. سادگی، قابلیت یادگیری تطبیقی، تعمیم پذیری، پایداری و انعطاف پذیری از مزایای عمده ی شبکه های عصبی مصنوعی است. شبکه های عصبی مصنوعی پیش خور معمولاً در مواجهه با سیستم های دینامیکی مشکل دارند، شبکه های عصبی بازگشتی برای غلبه بر این مشکل در اواخر قرن بیستم معرفی و پیشنهاد شدند. از روش های کاهش شیب مانند پس انتشار خطا در زمان و الگوریتم های بهینه سازی مانند الگوریتم ژنتیک به وفور برای آموزش شبکه های عصبی بازگشتی استفاده می شود. آموزش شبکه های عصبی بازگشتی فرایندی طولانی است و ممکن است در کمینه های محلی اسیر شود. شبکه ی عصبی حالت انعکاسی که اخیراً توسط هربرت جاگر معرفی شده، یک نوع خاص از شبکه های عصبی بازگشتی است که از یک مخزن دینامیک بزرگ در لایه ی مخفی استفاده می کند، وزن اتصالات داخلی شبکه ی عصبی حالت انعکاسی در فرایند آموزش ثابت است و تنها وزن های قابل آموزش، وزن اتصالات خروجی است، بنابراین آموزش شبکه به یک مسئله ی رگرسیون خطی تبدیل شده و در حالت برون خط به سادگی قابل حل است. در برخی مسایل کاربردی مانند مدل سازی و کنترل روبات ها یا در مسایلی که شبکه شامل اتصالات بازگشتی از خروجی ها به واحدهای مخزن باشد بهتر است از روش های برخط برای آموزش شبکه ی عصبی حالت انعکاسی استفاده شود. الگوریتم حداقل میانگین مربعات یکی از الگوریتم های ساده و پایدار برای آموزش برخط شبکه ی عصبی حالت انعکاسی است، لیکن متاسفانه به دلیل پراکندگی مقادیر ویژه ماتریس همبستگی حالات شبکه، همگرایی این الگوریتم بسیار کند است. تا کنون ساختارهای متفاوتی برای بهینه سازی مخزن شبکه به گونه ای که پراکندگی مقادیر ویژه ماتریس همبستگی حالات شبکه کم شوند بررسی شده اند، لیکن هیچ کدام از این ساختارها تاثیر چندانی بر کاهش پراکندگی مقادیر ویژه ماتریس همبستگی حالات شبکه ندارند. الگوریتم جستجوی هارمونی یک الگوریتم تصادفی است که به خصوص در بهینه سازی مسایلی با فضای جستجوی وسیع عملکرد خوبی دارد، در این پایان نامه از الگوریتم جستجوی هارمونی ابتدا برای آموزش شبکه ی عصبی حالت انعکاسی استفاده کرده و به کمک چند مثال نشان خواهیم داد که در حالیکه دقّت آموزشی این الگوریتم در مقایسه با الگوریتم حداقل مربعات بازگشتی و الگوریتم بهینه سازی حرکت ذرّات قابل قبول است، فرایند آموزش شبکه به کمک الگوریتم جستجوی هارمونی سریعتر از آموزش شبکه با دو الگوریتم دیگر است. سرانجام از الگوریتم جستجوی هارمونی برای تولید بهینه-ی وزن اتصالات داخلی شبکه استفاده خواهیم کرد و نشان خواهیم داد که با این الگوریتم می توان پراکندگی مقادیر ویژه ماتریس همبستگی حالات شبکه را تا چندین میلیون برابر کاهش داد. از الگوریتم حداقل مربعات برای آموزش برخط شبکه ی عصبی حالت انعکاسی ساخته شده به کمک الگوریتم جستجوی هارمونی استفاده شده و نتایج با سایر روش های آموزشی موجود مقایسه خواهند شد. نتایج شبیه سازی-های انجام شده برای پیش بینی سری های زمانی مکی گلاس، لورنز و راسلر به وضوح کارایی روش پیشنهادی را نشان می-دهند.